The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Time series forecasting is a long-standing challenge due to the real-world information is in various scenario (e.g., energy, weather, traffic, economics, earthquake warning). However some mainstream forecasting model forecasting result is derailed dramatically from ground truth. We believe it's the reason that model's lacking ability of capturing frequency information which richly contains in real world datasets. At present, the mainstream frequency information extraction methods are Fourier transform(FT) based. However, use of FT is problematic due to Gibbs phenomenon. If the values on both sides of sequences differ significantly, oscillatory approximations are observed around both sides and high frequency noise will be introduced. Therefore We propose a novel frequency enhanced channel attention that adaptively modelling frequency interdependencies between channels based on Discrete Cosine Transform which would intrinsically avoid high frequency noise caused by problematic periodity during Fourier Transform, which is defined as Gibbs Phenomenon. We show that this network generalize extremely effectively across six real-world datasets and achieve state-of-the-art performance, we further demonstrate that frequency enhanced channel attention mechanism module can be flexibly applied to different networks. This module can improve the prediction ability of existing mainstream networks, which reduces 35.99% MSE on LSTM, 10.01% on Reformer, 8.71% on Informer, 8.29% on Autoformer, 8.06% on Transformer, etc., at a slight computational cost ,with just a few line of code. Our codes and data are available at https://github.com/Zero-coder/FECAM.

我们提出了一个基于神经网络的系统，用于长期，多动能人类运动合成。该系统被称为神经木偶，可以从简单的用户输入中平稳过渡，包括带有预期动作持续时间的动作标签，以及如果用户指定的话，则可以产生高质量和有意义的动作。我们系统的核心是一种基于变压器的新型运动生成模型，即Marionet，它可以在给定的动作标签给定不同的动作。与现有运动生成模型不同，Marionet利用了过去的运动剪辑和未来动作标签的上下文信息，专门用于生成可以平稳融合历史和未来动作的动作。具体而言，Marionet首先将目标动作标签和上下文信息编码为动作级潜在代码。该代码通过时间展开模块将代码展开为帧级控制信号，然后可以将其与其他帧级控制信号（如目标轨迹）结合使用。然后以自动回归方式生成运动帧。通过依次应用木偶，系统神经木偶可以借助两个简单的方案（即“影子开始”和“动作修订”）来稳健地产生长期的多动作运动。与新型系统一起，我们还提供了一个专门针对多动运动综合任务的新数据集，其中包含动作标签及其上下文信息。进行了广泛的实验，以研究我们系统产生的动作的动作准确性，自然主义和过渡平滑度。

为了成功推荐（SR）成功，最近的作品着重于设计有效的顺序编码器，融合侧面信息以及挖掘额外的积极的自我实施信号。在每个时间步骤中对负面项目进行采样的策略较少探索。由于用户在培训过程中的兴趣和模型更新的动态，因此考虑用户的非相互作用项目的随机抽样项目作为负面的项目可能是不明智的。结果，该模型将不准确地了解用户对项目的偏好。识别信息性负面因素是具有挑战性的，因为内容的负面项目与动态变化的兴趣和模型参数相关（并且抽样过程也应该是有效的）。为此，我们建议为SR（Genni）生成负样本（项目）。根据当前SR模型对项目的学习用户偏好，在每个时间步骤中都采样了负项目。提出了有效的实施，以进一步加速生成过程，使其可扩展到大规模推荐任务。在四个公共数据集上进行的广泛实验验证了为SR提供高质量的负样本的重要性，并证明了Genni的有效性和效率。

很少有人提出了几乎没有阶级的课程学习（FSCIL），目的是使深度学习系统能够逐步学习有限的数据。最近，一位先驱声称，通常使用的基于重播的课堂学习方法（CIL）是无效的，因此对于FSCIL而言并不是首选。如果真理，这对FSCIL领域产生了重大影响。在本文中，我们通过经验结果表明，采用数据重播非常有利。但是，存储和重播旧数据可能会导致隐私问题。为了解决此问题，我们或建议使用无数据重播，该重播可以通过发电机综合数据而无需访问真实数据。在观察知识蒸馏的不确定数据的有效性时，我们在发电机培训中强加了熵正则化，以鼓励更不确定的例子。此外，我们建议使用单速样标签重新标记生成的数据。这种修改使网络可以通过完全减少交叉渗透损失来学习，从而减轻了在常规知识蒸馏方法中平衡不同目标的问题。最后，我们对CIFAR-100，Miniimagenet和Cub-200展示了广泛的实验结果和分析，以证明我们提出的效果。

磁共振图像（MRI）中的脑肿瘤分割（BTS）对于脑肿瘤诊断，癌症管理和研究目的至关重要。随着十年小型挑战的巨大成功以及CNN和Transformer算法的进步，已经提出了许多出色的BTS模型来解决BTS在不同技术方面的困难。但是，现有研究几乎没有考虑如何以合理的方式融合多模式图像。在本文中，我们利用了放射科医生如何从多种MRI模态诊断脑肿瘤的临床知识，并提出了一种称为CKD-TRANSBTS的临床知识驱动的脑肿瘤分割模型。我们没有直接串联所有模式，而是通过根据MRI的成像原理将输入方式分为两组来重新组织输入方式。具有拟议模态相关的跨意义块（MCCA）的双支支混合式编码器旨在提取多模式图像特征。所提出的模型以局部特征表示能力的能力来继承来自变压器和CNN的强度，以提供精确的病变边界和3D体积图像的远程特征提取。为了弥合变压器和CNN功能之间的间隙，我们提出了解码器中的反式和CNN功能校准块（TCFC）。我们将提出的模型与五个基于CNN的模型和六个基于Transformer的模型在Brats 2021挑战数据集上进行了比较。广泛的实验表明，与所有竞争对手相比，所提出的模型可实现最先进的脑肿瘤分割性能。

我们提出了Tacobot，这是为首届Alexa Prive Taskbot Challenge构建的面向任务的对话系统，该系统可帮助用户完成多步骤烹饪和家庭装修任务。Tacobot的设计采用以用户为中心的原则，并渴望提供协作且易于访问的对话体验。为此，它具有准确的语言理解，灵活的对话管理和引人入胜的响应生成。此外，Tacobot还以强大的搜索引擎和自动化的端到端测试套件为支持。在引导Tacobot的开发中，我们探索了一系列数据增强策略，以训练先进的神经语言处理模型，并通过收集的真实对话不断改善对话经验。在半决赛结束时，Tacobot的平均评分为3.55/5.0。

随着经济和社会的增长，企业，尤其是在金融科技行业中，对客户收集，市场营销，反欺诈电话等对客户的需求不断增加。但是，大部分重复性和机械工作都占据了人类代理商的大部分时间，因此企业的设备和劳动力成本正在增加。同时，随着过去几十年来人工智能技术的发展，公司使用大数据和人工智能等新技术来增强呼叫业务的能力已变得非常普遍。智能出站机器人是人工智能技术在出站呼叫业务领域的典型应用。它主要用于与客户交流以实现某个目标。它具有低成本，高额重用和易于合规性的特征，这引起了行业的更多关注。目前，该行业有两种智能出站机器人，但他们俩仍然为改进留下了巨大的空间。其中一种是基于有限状态机，该机器依赖于跳跃条件和基于手动体验的相应节点的配置。这种智能出站机器人也称为基于流的机器人。例如，图\ ref {图：标签}中显示了基于流的机器人的工作模型的示意图。在每个回合中，机器人将用与每个节点相对应的单词回复用户。

可认证的鲁棒性是在安全至关重要的情况下采用深层神经网络（DNN）的高度理想的属性，但通常需要建立乏味的计算。主要障碍在于大型DNN中的大量非线性。为了权衡DNN表现力（要求更多的非线性）和鲁棒性认证可伸缩性（更喜欢线性性），我们提出了一种新颖的解决方案来通过“授予”适当的线性水平来策略性地操纵神经元。我们建议的核心是首先将无关紧要的依赖神经元线性化，以消除既有用于DNN性能的多余的非线性组件，又对其认证有害。然后，我们优化替换线性激活的相关斜率和截距，以恢复模型性能，同时保持认证性。因此，典型的神经元修剪可以被视为一种特殊情况，即授予固定零斜率和截距的线性功能，这可能过于限制网络灵活性并牺牲其性能。在多个数据集和网络骨架上进行的广泛实验表明，我们的线性嫁接可以有效地收紧认证界限； （2）在没有认证的鲁棒培训的情况下实现竞争性认证的鲁棒性（即CIFAR-10型号的30％改进）； （3）将完整的验证扩展到具有17m参数的大型对抗训练的模型。代码可在https://github.com/vita-group/linearity-grafting上找到。

逆合合成是一种将分子转化为潜在反应物的过程，因此鉴定了合成途径。我们提出了一个新颖的生成框架，称为$ \ mathsf {g^2retro} $，用于一步回曲预测。 $ \ mathsf {g^2retro} $模仿合成反应的反向逻辑，也就是说，首先预测反应中心以将靶分子转换为名为合成的片段，然后将合成剂转化为反应剂，然后按照先前的基于半电压的方法转换为反应剂。在预测反应中心时，$ \ mathsf {g^2retro} $定义了一组全面的反应中心类型，并通过考虑多个反应中心候选者来实现预测反应的多样性。在完成合成子时，$ \ mathsf {g^2retro} $部署了一系列子结构附件，以将合成物转换为反应物，该反应物利用了要完成的合成结构的最新结构的整体视图，以及所有所涉及的合成物和所有合成的结构产品结构。在这里，我们证明$ \ mathsf {g^2retro} $能够更好地对基准数据集中最可能的反应物进行优先级，而不是最先进的方法，并且发现了不包括在该方法中基准数据集。